彩票假设引发了通过识别大型随机初始化神经网络的稀疏子网来实现结构学习的修剪算法的快速发展。这些“胜利门票”的存在理论上已被证明，但在次优稀疏水平。当代修剪算法还在努力确定复杂的学习任务的稀疏彩票票。这个次优稀疏仅仅是存在证明和算法的文物还是修剪方法的一般限制？并且，如果存在非常稀疏的罚单，则当前算法是能够找到它们的当前算法，或者是实现有效网络压缩所需的进一步改进吗？为了系统地回答这些问题，我们推导了一个框架来植物并隐藏大型随机初始化的神经网络中的目标架构。对于机器学习中的三个共同挑战，我们手工制作极其稀疏的网络拓扑，将它们植入大型神经网络，并评估最先进的彩票修剪方法。我们发现，修剪算法的当前局限性识别极其稀疏的票证是算法的，而不是基本的性质，并且预期我们的种植框架将促进有效修剪算法的未来发展，因为我们已经解决了所提出的领域缺失基线的问题Frankle等人。
translated by 谷歌翻译
彩票假设猜测稀疏子网的存在大型随机初始化的深神经网络，可以在隔离中成功培训。最近的工作已经通过实验观察到这些门票中的一些可以在各种任务中实际重复使用，以某种形式的普遍性暗示。我们正规化这一概念，理论上证明不仅存在此类环球票，而且还不需要进一步培训。我们的证据介绍了一些与强化强烈彩票票据相关的技术创新，包括延长子集合结果的扩展和利用更高量的深度的策略。我们的明确稀疏建设普遍函数家庭可能具有独立的兴趣，因为它们突出了单变量卷积架构引起的代表效益。
translated by 谷歌翻译
强大的彩票票证假设有希望，即修剪随机初始化的深神经网络可以为具有随机梯度下降的深度学习提供计算有效的替代方案。但是，常见的参数初始化方案和存在证明集中在偏差为零的网络上，因此预言了修剪的潜在通用近似属性。为了填补这一空白，我们将多个初始化方案和存在证明扩展到非零偏差，包括Relu激活函数的显式“外观线性”方法。这些不仅可以实现真正的正交参数初始化，还可以减少潜在的修剪错误。在标准基准数据的实验中，我们进一步强调了非零偏置初始化方案的实际好处，并为最先进的强彩票修剪提供了理论上灵感的扩展。
translated by 谷歌翻译
最近的多目标跟踪（MOT）系统利用高精度的对象探测器;然而，培训这种探测器需要大量标记的数据。虽然这种数据广泛适用于人类和车辆，但其他动物物种显着稀缺。我们目前稳健的置信跟踪（RCT），一种算法，旨在保持鲁棒性能，即使检测质量差。与丢弃检测置信信息的先前方法相比，RCT采用基本上不同的方法，依赖于精确的检测置信度值来初始化曲目，扩展轨道和滤波器轨道。特别地，RCT能够通过有效地使用低置信度检测（以及单个物体跟踪器）来最小化身份切换，以保持对象的连续轨道。为了评估在存在不可靠的检测中的跟踪器，我们提出了一个挑战的现实世界水下鱼跟踪数据集，Fishtrac。在对FISHTRAC以及UA-DETRAC数据集的评估中，我们发现RCT在提供不完美的检测时优于其他算法，包括最先进的深单和多目标跟踪器以及更经典的方法。具体而言，RCT具有跨越方法的最佳平均热量，可以成功返回所有序列的结果，并且具有比其他方法更少的身份交换机。
translated by 谷歌翻译